Cha mẹ anh đều là người Do Thái. Ông ngoại anh là một giáo sĩ Do Thái ở Stamford, Connecticut and gia đình anh có họ hàng với Thượng nghị sĩ Connecticut Joe Lieberman.

Khi Ricky tròn 1 tuổi, gia đình anh chuyển tới Fairfield, Connecticut. Khi Raviv còn nhỏ, cha cậu làm việc với vai hề xiếc. Ullman bắt đầu mê nghề diễn từ lúc thấy một trại diễn dành cho trẻ em. Anh đã tham gia trại suốt mùa hè và được phân chia rất nhiều loại vai diễn khác nhau, vì thế mà anh đã phát hiện ra những tài năng của mình: hát, nhảy và diễn xuất.